Sau khi Cách mạng tháng Tám thành công, từ tháng 8 năm 1945 đến năm 1949, ông là phái viên của Bộ Quốc phòng ở các tỉnh duyên hải tả ngạn sông Hồng, Khu trưởng Chiến khu III, Phó tư lệnh Liên khu III. Năm 1948, ông được phong quân hàm Đại tá Quân đội Quốc gia Việt Nam trong đợt phong hàm đầu tiên.

Từ 1949-1950, ông làm Tư lệnh Liên khu 4.

Sau Chiến dịch Biên giới 1950, các đại đoàn quân chính quy được thành lập. Ông được bổ nhiệm làm Đại đoàn trưởng đầu tiên của Đại đoàn 304 (1950-1954).